Ông có 2 đời vợ. Bà vợ đầu là bà Nguyễn Thị Nhân Lý - con gái một vị hương chính ở Hà Tĩnh, xuất thân là nữ sinh Đồng Khánh. Bà đã sinh cho ông Phan Kế Toại 7 người con, nhưng không may sớm mất một người. Bà qua đời khoảng năm 1933-1934.

Sau đó ông tục huyền với bà Nguyễn Thị Mão (1903-1992), người làng Lai Xá, xã Kim Chung, phủ Hoài Đức, tỉnh Hà đông. Bà Mão xuất thân là nữ sinh Đồng Khánh, nữ sinh trường Albert Sarault, tốt nghiệp khoá 1924-1927 Trường Cao đẳng Sư phạm Đông Dương, là bạn thân của bà vợ đầu, là nữ giáo viên đầu tiên của Hà Nội, biết tiếng Pháp, tiếng Anh, tiếng Nga và là chị gái của các ông Nguyễn Văn Huyên, Nguyễn Văn Hưởng. Bà là người phụ nữ Việt Nam đầu tiên thời đó tốt nghiệp khoa Toán trường Cao đẳng sư phạm Đông Dương và dạy toán nhiều năm tại trường nữ sinh trung học Đồng Khánh. Bà sinh hạ cho ông thêm 4 người con[cần dẫn nguồn].

Các con ông có những người hoạt động trong lĩnh vực văn học nghệ thuật.

1. Phan Kế An (sinh 1923), họa sĩ, Giải thưởng Nhà nước về Văn học nghệ thuật (2001).
2. Phan Kế Ninh, công tác trong ngành Hàng không
3. Phan Thị Mỹ, Cử nhân Văn học, vợ Thiếu tướng Nguyễn Ngọc Doãn [cần dẫn nguồn]
4. Phan Kế Bảo, công tác trong ngành Điện ảnh
5. Phan Kế Khoan, công tác trong ngành Giáo dục
6. Phan Kế Hoành: nhà phê bình nghệ thuật
7. Phan Kế Phúc, Phó giáo sự, Tiến sĩ, giảng viên Trường Đại học Bách Khoa Hà Nội
8. Phan Kế Lộc: Giáo sư, Tiến sĩ sinh học, giảng viên Trường đại học Tổng hợp Hà Nội.
9. Phan Lệ Thủy, Phó giáo sư, Tiến sĩ, giảng viên Trường Đại học Dược khoa;
10. Phan Kế Bình, Cử nhân Sinh học, cán bộ Công ty Công viên Hà Nội

Một trong số những người cháu nội của ông là bà Phan Vũ Diễm Hằng, nữ sinh Việt Nam đầu tiên đoạt được huy chương ở một kỳ Olympic Toán học Quốc tế vào năm 1975.[11]